QuoteBench: How Matched Scores Can Hide Command-Path Failures
QuoteBench：匹配分数如何掩盖命令路径失败
🧭 LLM Agent 命令执行评估
Stony Brook University · LMU Munich · Munich Center for Machine Learning
通过控制执行传输中的解析器，揭示匹配执行分数掩盖的 Bash 引用失败与边界适应差异
📌 工作参考价值（4 点）
- 在构建 command-issuing agent（如自动数据管道、文件处理、脚本调用）时，不要只看最终执行是否匹配，应显式记录生成契约、执行路径和 final-state validator，区分生成错误与执行层转义错误。
- 通过 prompt 或系统提示向模型披露执行传输边界（如是否经过 shell 转义层），通常能显著恢复成功率，但需在具体配置下验证，部分场景披露无效甚至负向。
- 工程实现上，建议在命令插值点统一转义，避免 raw model output 直接进入 shell 解析；同时用 exact final-state 校验替代简单字符串匹配。
- 评估多家 LLM 或选型 agent 时，应固定同一回复在不同执行传输配置下 replayed，避免 matched score 掩盖真实差距，尤其关注边界适应能力而非单纯生成质量。